Weblica: Scalable and Reproducible Training Environments for Visual Web Agents
网络复杂、开放且不断变化，这使得扩展可视网络代理的训练数据变得具有挑战性。现有的数据收集尝试仍然仅限于用于监督微调的离线轨迹或用于 RL 训练的少数模拟环境，因此无法捕获网络多样性。我们提出了Weblica（Web Replica），一个用于构建可复制和可扩展的Web环境的框架。我们的框架利用 1) HTTP 级缓存来捕获和重播稳定的视觉状态，同时保留交互行为，以及 2) 基于 LLM 的环境合成......
DynaMiCS: Fine-Tuning LLMs with Performance Constraints Using Dynamic Mixtures
大型语言模型的多域微调需要提高目标域的性能，同时保留受限域的性能，例如常识、指令遵循或安全评估。现有的数据混合策略依赖于固定的启发式或自适应规则，无法明确强制保留此类功能。我们提出了 DynaMiCS，一种动态混合优化器，它将多域微调作为约束优化问题。每次更新时，DynaMiCS 都会执行短的特定域探测运行，以估计局部的斜率矩阵...
FlowEval: Reference-Based Evaluation of Generated User Interfaces
虽然大型语言模型 (LLM) 和编码代理通常应用于用户界面 (UI) 开发，但开发人员发现很难可靠地评估他们在视觉和交互设计方面的熟练程度。现有的评估要么依靠人类专家，他们可以通过测试关键流程来准确评估可用性，但速度慢且成本高；要么依靠自动化法官，虽然可扩展，但准确性较差且不透明。我们提出了 FlowEval，一个基于参考的框架，通过比较真实网站的导航轨迹与轨迹来衡量生成的 UI 是否支持真实的交互流......
LensVLM: Selective Context Expansion for Compressed Visual Representation of Text
视觉语言模型 (VLM) 提供了将文本处理为渲染图像的令人兴奋的可能性，无需将文本标记为长标记序列。由于 VLM 图像编码器将固定大小的图像映射到固定数量的视觉标记，因此不同的渲染分辨率提供了细粒度的压缩旋钮。然而，随着压缩率的增加，准确性会迅速下降：字符缩小到低于视觉编码器的有效分辨率，使它们难以区分。为了解决这个问题，我们提出了 LensVLM，这是一个推理框架和训练后配方，使 VLM 能够扫描……
Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction
这项研究的重点是文本到声音视频 (T2SV) 生成，旨在生成具有文本同步音频的视频，两种模式都与文本条件一致。尽管联合音视频训练取得了进展，但仍然存在两个关键挑战：（1）文本调节是一个瓶颈——共享字幕（TV = TA）触发模态干扰，而密集的训练字幕和简洁的推理用户提示之间仍然存在差距；（2）跨模态特征交互的最佳融合机制仍不清楚。为了解决第一个挑战，我们首先提出......
A Single Neuron Is Sufficient to Bypass Safety Alignment in Large Language Models
语言模型中的安全对齐通过两个机制上不同的系统进行操作：拒绝神经元（控制是否表达有害知识）和概念神经元（编码有害知识本身）。通过针对每个系统中的单个神经元，我们在跨越两个系列和 1.7B 到 70B 参数的七个模型中展示了两个方向的失败——通过抑制绕过对明确有害请求的安全性，并通过放大从无辜提示中诱导有害内容，而无需任何训练或提示工程。我们的研究结果表明安全调整......
MT-EditFlow: Reinforcement Learning for Multi-Turn Image Editing with Flow Matching
最近基于指令的图像编辑方面的突破引起了广泛关注，因为模型现在能够处理现实世界的编辑需求，并具有日常用户所需的实用性。然而，主要针对单轮编辑训练的编辑模型通常会在多轮编辑中崩溃——多轮编辑是用户根据模型自己之前的输出迭代地细化图像的自然交互设置。这种失败源于全有或全无的要求，其中单个失败的回合会损害整个序列，以及错误传播，其中曝光偏差会导致……
Understanding Annotator Safety Policy with Interpretability
安全策略定义了安全和不安全的人工智能输出的构成，指导数据注释和模型开发。然而，注释分歧普遍存在，可能源于多种原因，例如操作失败（注释者误解或错误执行任务）、政策模糊性（政策措辞留有解释空间）或价值多元化（不同注释者对安全持有不同观点）。区分这些来源很重要。例如，运营失败需要质量控制，模糊需要政策澄清，多元化需要深思熟虑……
TopoPrimer: The Missing Topological Context in Forecasting Models
我们引入了 TopoPrimer，一个框架，使序列总体的全局拓扑结构成为任何预测模型的显式输入。 TopoPrimer 提高了不同领域的准确性，稳定了季节性需求高峰下的预测，并缩小了冷启动差距。 TopoPrimer 通过持久同源性和谱束坐标对每个域进行一次预计算，将每个令牌部署为经过充分训练的模型，并作为预训练主干的轻量级适配器。在这两个组件中，层坐标是主要的精度驱动因素。跨越 Chronos 的四个公共基准和……
在搜索和推荐系统中，当某些输入特征导致输出分数波动时，预测模型通常会遭受时间不稳定的影响。这种不稳定性会降低模型的可靠性和用户体验，尤其是在多阶段系统中，其中一致的预测对于下游决策至关重要。我们引入了 Fortress，这是一个通用框架，用于通过识别和修剪随着时间的推移导致预测分数不一致的特征来增强模型的稳定性和准确性。 Fortress 利用历史快照临时分区数据集......
Path-Constrained Mixture-of-Experts
稀疏专家混合 (MoE) 架构通过每层的专家子集独立路由每个令牌。我们建议通过专家路径的视角来看待 MoE 计算——令牌在所有层上进行的专家选择序列。这种观点表明，尽管 N 个专家跨 L 层有 N^L 条可能的路径，但实践中的标记会聚集成一小部分与语言功能一致的路径，但绝大多数路径仍未被探索，这代表了统计上的低效率。这激发了限制有效路径空间的架构……
Revisiting ASR Error Correction with Specialized Models
语言模型在自动语音识别 (ASR) 中发挥着核心作用，但大多数方法依赖于纯文本模型，不知道 ASR 错误模式。最近，大型语言模型 (LLM) 已应用于 ASR 校正，但引入了延迟和幻觉问题。我们使用紧凑的 seq2seq 模型重新审视 ASR 纠错，该模型针对真实和合成音频的 ASR 错误进行训练。为了扩展训练，我们通过级联 TTS 和 ASR 构建合成语料库，发现匹配现实错误分布的多样性是关键。我们提出校正优先解码，其中校正......
Segmental Attention Decoding with Long Form Acoustic Encodings
我们解决了基于注意力的编码器-解码器（AED）模型与长形式声学编码的根本不兼容问题。在分段话语上训练的 AED 模型通过利用片段边界之外的有限声学上下文来学习对绝对帧位置进行编码，但在解码这些线索消失的长片段时无法泛化。由于交叉注意力中键和值的排列不变性，该模型失去了对声学编码进行排序的能力。我们提出了四种修改：（1）将显式绝对位置编码注入每个解码的交叉注意力中......
Anti-Causal Domain Generalization: Leveraging Unlabeled Data
领域泛化问题涉及学习预测模型，这些模型在部署到以前未见过的新环境中时对分布变化具有鲁棒性。现有方法通常需要来自多个训练环境的标记数据，当标记数据稀缺时限制了它们的适用性。在这项工作中，我们研究反因果环境中的领域泛化，其中结果导致观察到的协变量。在这种结构下，影响协变量的环境扰动不会传播到结果，这会促使模型对……的敏感性进行正则化。
Learning Unmasking Policies for Diffusion Language Models
扩散（大型）语言模型 (dLLM) 现在在许多任务上与自回归模型的下游性能相匹配，同时有望在推理过程中提高效率。 dLLM 的一个关键设计方面是采样程序，该程序选择在每个扩散步骤中揭开哪些标记。事实上，最近的工作发现，与随机揭露相比，置信度阈值等启发式策略可以提高样本质量和令牌吞吐量。然而，这种启发式方法也有缺点：它们需要手动调整，而且我们观察到它们的性能......
Residual Context Diffusion Language Models
扩散大型语言模型 (dLLM) 已成为纯自回归语言模型的有前途的替代方案，因为它们可以并行解码多个标记。然而，最先进的分块 dLLM 依赖于“重新屏蔽”机制，该机制仅解码最有信心的令牌并丢弃其余令牌，从而有效地浪费了计算。我们证明，从丢弃的令牌中回收计算是有益的，因为这些令牌保留了对后续解码迭代有用的上下文信息。有鉴于此，我们提出了残余上下文扩散（RCD），该模块......
MemoryLLM: Plug-n-Play Interpretable Feed-Forward Memory for Transformers
了解变压器组件在法学硕士中的工作原理非常重要，因为它是人工智能最新技术进步的核心。在这项工作中，我们重新审视了与前馈模块（FFN）的可解释性相关的挑战，并提出了 MemoryLLM，其旨在将 FFN 与自注意力解耦，并使我们能够将解耦的 FFN 作为上下文无关的 token-wise 神经检索记忆来研究。详细地，我们研究了输入标记如何访问 FFN 参数内的内存位置以及 FFN 内存在不同下游任务中的重要性。 MemoryLLM 实现...
Multi-Agent Teams Hold Experts Back
多代理 LLM 系统越来越多地部署为自主协作者，其中代理可以自由交互，而不是执行固定的、预先指定的工作流程。在这种情况下，有效的协调无法提前完全设计，而必须通过互动来实现。然而，大多数先前的工作都是通过固定的角色、工作流程或聚合规则来强制协调，从而留下了一个问题：当协调不受限制时，自组织团队的表现如何。借鉴组织心理学，我们研究自组织法学硕士团队是否能实现强大的协同作用，其中......
